/*
 * Clase principal del proyecto
 * 
 * @author HPCIII_Team2013
 */

package cl.ucn.hpc.hpcearch;

import java.util.HashSet;
import java.util.List;
import java.util.Set;

import cl.ucn.hpc.spider.Spider;

public class HPCearch {

	public static void main(String[] args) {
		//Crea el primer spider enviando el directorio donde se almacenaran los datos obtenidos
		Spider spider = new Spider("C:\\HPCearch");
		
		//Spider spider = new Spider(System.getProperty("user.dir") + File.separatorChar + "download");

		//Obtiene los links contenidos en la pagina que inicia el buscador
		List<String> links = spider.trabajar("http://www.ucn.cl");

		//Tabla de hash qure almacena las paginas
		Set<String> temp = new HashSet<String>();

		//Revisa cada link contenido en la pagina que inicial el buscador
		for (String l: links) {
			//Obtiene los links contenidos en cada pagina
			List<String> lin = spider.trabajar(l);

			//Si no estan en la tabla de hash, se agregan
			if (lin != null) {
				for (String url : lin) {
					temp.add(url);
				}
			}
			
			//Imprime la cantidad de links en la tabla de hash
			System.out.println(temp.size());
		}

	}
}

